Lầu Nhạc Dương nguyên là Duyệt Quân lâu của đại tướng Đông Ngô thời Tam quốc là Lỗ Túc. Năm Kiến An thứ 20 (215), Tôn Quyền cùng Lưu Bị tranh giành Kinh Châu, đại tướng Lỗ Túc dẫn quân đóng tại vùng chiến lược là Ba Khâu, tại hồ Động Đình thao luyện thủy quân, nhân đó cho xây đắp thành Ba Khâu. Tại khu vực ven hồ Động Đình, ông cho xây dựng một lầu để kiểm duyệt thủy quân, gọi là Duyệt Quân lâu.

Thời kỳ nhà Tấn và Nam-Bắc triều, Duyệt Quân lâu đổi tên thành Ba Lăng thành lâu. Nhà thơ Nhan Duyên Chi có bài thơ "Đăng Ba Lăng thành lâu" viết về lầu này.

Thời kỳ nhà Đường, Ba Lăng thành lâu được gọi là Nhạc Dương lâu. Do vùng đất Nhạc Châu nối liền nam bắc, lại có nhiều thắng cảnh lầu, đài nên nhiều thi nhân thường xuyên tới đây. Năm Khai Nguyên thứ 4 (716), trung thư lệnh Trương Thuyết bị biếm quan về Nhạc Châu, thường hội họp văn nhân lên lầu ngâm vịnh thơ. Sau này có các nhà thơ như Trương Cửu Linh, Mạnh Hạo Nhiên, Giả Chí, Lý Bạch, Đỗ Phủ, Hàn Dũ, Lưu Vũ Tích, Bạch Cư Dị, Lý Thương Ẩn từng tới đây. Đỗ Phủ có "Đăng Nhạc Dương lâu", một tuyệt phẩm thơ ca về lầu Nhạc Dương.

Nhạc Dương lâu được Đằng Tử Kinh trùng tu và Phạm Trọng Yêm sáng tác bài ký ghi lại công việc này. Năm Khánh Lịch thứ 4 (1044), Đằng Tử Kinh bị vu cáo là lạm dụng tiền công sứ, bị biếm làm tri phủ Nhạc Châu. Năm sau ông cho trùng tu Nhạc Dương lầu. Sau đó ông mời Phạm Trọng Yêm sáng tác "Nhạc Dương lâu ký".